一款web服务日志管理、流量可视化监控工具

HVV结束了，估计BT的xdm看监控和日志吐了吧？
别怪我又推荐一款好用工具。
看不下去先收藏。

先上图瞅瞅：

特性

• 在日志采集的时候可以按照日志文件的大小，或者在指定时间内自动对日志进行切割日志，存储到指定的目录

• 指定当前使用的 nginx/apache 日志格式名称 即可解析数据

• 指定不同的项目走不同的队列服务，分别解析存储到不同的数据库，按需灵活配置

• 支持分布式，日志采集服务队列已内置redis LIST结构，可自行拓展kafka ,mq等其它队列服务

• 支持自定义持久化存储引擎，日志解析持久化存储服务已内置 mongodb 和 mysql ,可自行拓展其它数据库

功能说明

日志采集、日志解析持久化存储、Web 流量实时监控，三位一体的 Web 服务流量监控开源应用。遵守Apache2.0开源协议。三大功能模块均可独立部署启用互不干扰。内置 nginx 和 apache 的日志解析存储器，简单配置开箱即用。运行环境为python3+ linux平台。

安装说明

安装拓展

sudo pip3 install -r requirements.txt 

启动 采集器

sudo python3 main.py -r inputer -c config.ini

启动 解析存储器

sudo python3 main.py -r outputer -c config.ini

启动 web服务

sudo python3 main.py -r web -c config.ini

查看命令行帮助

python3 main.py --help

• 以上三个应用均可单独部署和启用

-r --run ; start ['inputer', 'outputer','web']
-s --stop ; stop ['inputer', 'outputer']
-c --config ;  bind config.ini file

docker 支持

docker pull jyolo/wlogger:v1.3 或者 docker build -t yourTagName .

example:

 # 启动 web 服务
    docker run jyolo/wlogger:v1.3 -r web -c config.ini  #  需要把配置文件复制或者挂载进 容器中/wLogger 目录内
    
    # 启动 解析存储器 服务
    docker run jyolo/wlogger:v1.3 -r outputer -c config.ini  #  需要把配置文件复制或者挂载进 容器中/wLogger 目录内
    
* 由于采集器 inputer 中切割日志操作,需要操作容器外部 nginx/apache 相关服务器,因此无法在docker中隔离环境下运行 . 
* 如果容器中有部署nginx 或者 apache 则可以

项目地址

https://github.com/jyolo/wLogger

往期推荐

【2022HVV系列】一次溯源过程复盘

【2022HVV系列】一次真实应急响应复盘

欢迎关注，领取资料↓↓↓